CS229：05-二分类问题

在二分类问题中，输出$y\in \{0, 1\}$。同样的，我们也可以用线性拟合来尝试解决二分类问题（如下图左），但数据点比较异常时，容易出现下图右这样的情况：

一般，在二分类问题中，我们会选用『logistic函数』来拟合（因为形状像S，又称为『sigmoid函数』）：

$$h_\theta (x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$$

logistic函数$g(z)=1/(1+e^{-z})​$的形状如下：

可以定义

$$\begin{align} P(y=1|x;\theta)& =h_\theta (x) \\\ P(y=0|x;\theta)& =1-h_\theta(x) \end{align}$$

于是：

$$P(y|x;\theta)=h_\theta(x)^y(1-h_\theta(x))^{(1-y)}$$

进行极大似然估计：

$$L(\theta)=P(y|x;\theta)=\prod_{i=1}^mP(y^{(i)}|x^{(i)};\theta)=\prod_{i=1}^mh_\theta(x^{(i)})^{y^{(i)}}(1-h_\theta(x^{(i)}))^{(1-y^{(i)})}$$

为了计算方便，定义

$$\begin{align} l(\theta)&=log(L(\theta))\\\ &=\sum_{i=1}^mlog(P(y^{(i)}|x^{(i)};\theta))\\\ &=\sum_{i=1}^m(y^{(i)}\cdot log(h_\theta(x^{(i)}))+(1-y^{(i)})\cdot log(1-h_\theta(x^{(i)}))) \end{align}$$

利用梯度上升进行求解：

$$\theta := \theta + \alpha \nabla_\theta l(\theta)$$

其中

$$\nabla_{\theta_j} l(\theta)=\frac{\partial}{\partial\theta_j}l(\theta)=\sum_{i=1}^m(y^{(i)}-h_\theta(x^{(i)}))\cdot x_j^{(i)}\\\ \theta_j:=\theta_j+\alpha \cdot \sum_{i=1}^m(y^{(i)}-h_\theta(x^{(i)}))\cdot x_j^{(i)}$$

最终的梯度上升结果几乎与线性拟合中的梯度下降结果一样。